Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs
联合视觉Token与LLM计算的自适应推理框架
🧭 多模态高效推理 · 联合自适应调度
Purdue University · University of Wisconsin–Madison · NVIDIA
提出SmartVL，联合动态控制视觉token数量和LLM计算量，实现多模态LLM的精度-效率帕累托最优
📌 工作参考价值（4 点）
- 在电商多模态问答或商品理解Agent中，可借鉴视觉token的动态剪枝，按输入复杂度自适应保留关键视觉信息，减少冗余计算，降低首词延迟。
- LLM推理时基于预算灵活跳层或关头的思路，可迁移至推荐系统重排或大模型推理阶段，在流量高峰期实现算力的细粒度分配。
- 共享预算编码+可微分延迟估计器的联合训练范式，可指导将多个自适应模块（如特征选择、模型深度）进行端到端协同优化，避免独立调优的次优解。
- 对于需要同时处理图片和文本的搜索推荐Agent，可联合调度视觉编码器和LLM的资源消耗，在保证回复质量的前提下最大化吞吐。